搜索
随着大模型参数规模持续扩大，推理成本已经成为生产级 LLM 服务的核心瓶颈。投机解码（Speculative Decoding, SD）通过「小模型 draft + 大模型 verify」的方式，将多个候选 token 放到一次目标模型前向中并行验证，从而缓解自回归解码的串行瓶颈。
随着语音、视频、多模态能力不断融入大语言模型（LLM），人与 AI 的交互正在越来越接近自然对话。今天的 LLM 不再只是回答问题的工具，也越来越多地出现在教育、客服、陪伴、心理健康等高度依赖情绪理解的场景中。
大家好，最近有人刚刚为电子产品开发了一个 Claude Code 工具。 它叫做 Blueprint。输入你想要构建的内容，它就会为你的 Arduino 或树莓派项目生成接线图、物料清单和分步组装指南。能不能自己搭建一个呢？
刚刚，Anthropic 发布论文《Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations》，试图用一套 自然语言自动编码器（Natural Language Autoencoders，下文简称 NLA）， 撬开这个黑箱。
当地时间 5 月 5 日，迈阿密一家名为 Subquadratic 的公司走出隐身模式。CTO Alexander Whedon 在 X 上把首款模型 SubQ 称作“a major breakthrough in LLM intelligence”（LLM 智能领域的重大突破），
GPT Image 2 凭什么这么强？是扩散模型又迭代了一版？是把 DiT 的参数量从 7B 扩到 20B？是训了更多高质量数据？先给结论：OpenAI 很可能已经不在“纯扩散模型”这条主赛道上了。他们已经把图像生成从“美术课”调到了“语文课”——用一个能读懂指令、能记住上下文、能理解物体关系的 LLM 主导语义规划，至于最后一步的像素生成，可能由扩散组件或其他解码器完成。
Karpathy 表示，大多数人使用 LLM 处理文档的方式，基本都类似于 RAG：你上传一组文件，模型在查询时检索相关片段，然后生成答案。这种方式是有效的，但问题在于每一次提问，模型都在从零重新发现知识。没有积累。
官方宣传语：你是否隐隐担忧，自己或身边的人正在：参与一场席卷所有人的技能大退化？遭受 LLM 诱发的？一个名为 Sam Lavigne 的大学教授，最近发布并开源了一款名为「Slow LLM」的 AI 工具。
这两年，扩散语言模型（Diffusion LLM）一直是个很有讨论度的方向。
在此背景下，浙江大学研究团队提出了 EasySteer——一个基于 vLLM 构建的高性能、可扩展 LLM Steering 统一框架。该框架通过与 vLLM 推理引擎的深度集成，相比现有 Steering 框架实现了 10.8-22.3 倍的推理加速，同时提供更细粒度的干预控制，并为八大应用场景提供了预计算 Steering 向量与完整复现示例，方便研究者快速上手和对照复现。